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(57) Zusammenfassuiig: Es werden eine Vorrichtung und ein Verfahren zur Uberwachung, Nachfiihrung und Besttmmung von 
wenigstens einein Kalibrierparameter der geometrischen Kalibrierung von wenigstens einem Bildsensor (12) vorgeschlagen, wobei 
der wenigstens eine Bildsensor eine in Teilen gleichbleibende Szene uberwacht. In einem Ausfiihrungsbeispiel wird der wenigstens 
eine Bildsensor zur Uberwachung des Innenraumes (28) eines Kraftfahrzeuges verwendeL 
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Vorriehtung und Verfahren am- Kalibrierung eines Bildsensors 
Stand der Technik 

Die Erfindung betrifft eine Vorriehtung und ein Verfahren zur Bestirnmung von 
Kalibrierparametern eines Bildsensors. 

Kraftfahrzeughersteller planen den Einsatz von Sensorik, insbesondere von Bildsensoren, zur 
Uberwachung des Innenraumes eines Kraftfahrzeuges. Vorgesehen ist die Verwendung von 
Bildsensoren bei der intelligenten Airbagsteuerung. Im Rahmen der intelligenten 
Airbagsteuerung wird an der Klassifilcation der Sitzbelegung im Krafrfahrzeug gearbeitet, um 
beispielsweise Verletzungen bei Kleinkindern durch die Auslosung des Airbags bei ruckwarts 
eingebauten Kindersitzen zu verhindern. Anderseits ist geplant, die Position von Korperteiien 
der Ihsassen, wie dem Kopf oder dem Rumpf, und/oder die Sitzhaltung der Insassen beziiglich 
des Airbags durch eine sogenannten „Out-of-Position Detektion" zu iiberwachen, um 
insbesondere Verletzungen durch zu dichte Positionierung des Kopfes am Airbagmodul bei 
dessen Auslosung zu verhindern. 

Beispielsweise ist aus der WO 01/60662 Al ein Verfahren und eine Vorriehtung zur 
Sitzbelegungserkennung mittels Videosensorik und FuBraumsensorik bekannt. Es wird 
vorgeschlagen, die Kopfhohe einer auf einem Sitz befindlichen Person mit der Videosensorik zu 
erfassen, zusammen mit der FuBraumsensorik eine Klassifilcation der Sitzbelegung 
durchzufuhren und in Abhangigkeit der Sitzbelegung den Airbag zu steuern. Hinweise auf eine 
Vorriehtung und ein Verfahren zur Bestirnmung von Kalibrieiparametern eines Bildsensors der 
Videosensorik fehlen in der WO 01/60662 Al. 
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Vorteile der Erfmdung 

Die nachfolgend beschriebene Vorrichtung zur Bestimmung wenigstens ekes 
Kalibrierparameters wenigstens eines Bildsensors, wobei bei einer erkannten Dekalibrierung des 
wenigstens einen Bildsensors wenigstens eine Verarbeitungseinheit den wenigstens einen 
Kalibrierparameter in Abhangigkeit von Bildsignalen bestimmt, die der wenigstens eine 
Bildsensor zumindest von wenigstens einem invarianten Muster ableitet, hat den Vorteil, dass 
eine Feblfunktion wenigstens eines Bildsensors infolge von Dekalibrierungen erkannt und 
zusatzlich automatisch korrigiert werden kann. Alternativ oder zusatzlich ist es vorteilhaft, eine 
erkannte Delcalibrierung wenigstens einem nacbfolgenden System und/oder dem Fahrer 
(Bediener) des Kraftfahrzeuges zu melden. Die automatische Uberwachung der Kalibrierung 
tragt in vorteilhafter Weise zu einer zuverlassigen Funktion von Bildsensoren bei und 
ermoglicht bierdurch insbesondere einen Einsatz von Bildsensoren fur sicherheitskritische 
Anwendungen im Rraftfahrzeuginnenraum. 

Ferner wird in vorteilhafter Weise der Aufwand der Montage des wenigstens einen Bildsensors 
im Kraftfahrzeug durch die automatische Bestimmung wenigstens eines Kalibrierparameters 
verringert. Hierdurch entfallt die Notwendigkeit spezielle Kalibrierverfahren wahrend der 
Fertigung des Kraftfahrzeuges und/oder bei Reparaturarbeiten durchzufuhren. Ferner tragt die 
Vorrichtung dazu bei, dass enge Fertigungstoieranzen, die ohne die nachfolgend beschriebene 
Voirichtung zur Einhaltung von Kalibrierparametern spezifiziert werden miissten, vergroCert 
werden konnen. Hieraus ergibt sich eine besonders vorteilhafte Kostensenkung bei der 
Fertigung und/oder der Reparatur eines Kraftfahrzeuges. Zusammenfassend ist die nachfolgend 
beschriebene Vorrichtung in vorteilhafter Weise fur den Serieneinsatz von Bildsensoren bei 
sicherheitskritischen Anwendungen in Kraftfahrzeugen, insbesondere bei einer intelligenten 
Airbagsteuerung, geeignet, da Fehlfunlctionen der Bildsensoren insbesondere in Form einer 
Dekalibrierung erkannt werden. 

Besonders vorteilhaft ist die Bildung des wenigstens einen invarianten Musters durch 
wenigstens ein zur Bestimmung des wenigstens einen Kalibrierparameters in der Szene 
angebrachtes Bezugsobjekt. Vorteilhaft ist die Nutzung von signalisierten Bezugsobjekten zur 
Kalibrierung wenigstens eines Bildsensors. Besonders vorteilhaft sind die signalisierten 
Bezugsobjekte im Innenraurn von Kraftfahrzeugen. Signalisierte Bezugsobjekte haben den 
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Vorteil, dass sie von der Sensorik einfach erfassbar sind und durch die Signalisierung mit 
Mitteln der Signalverarbeitung in den Messdaten zuverlassig identifizierbar sind. 

Vorteilhaft ist, wenn die Signalisierung der Bezugsobjekte durch eine besondere Helligkeit 
erreicht wird, entweder aktiv durch Leuchtmittel, wie LED-Dioden und/oder Infrarot- 
Leuchtdioden, und/oder passiv durch Oberflachen hoher Reflektivitat 
(RiickstrahlungsvermSgen, Albedo). Besondere Vorteile weisen daher Bezugsobjelcte auf, die 
als Leuchtmittel, insbesondere als Leuchtdiode (LED-Dioden), ausgestaltet sind und/oder die 
eine hohe Reflektivitat haben. Derart gestaltete Bezugsobjekte tragen zu einer einfachen 
Erfassbarkeit des wenigstens einen invarianten Musters durch die Verarbeitungseinheit bei. 

Ferner ist von Vorteil, wenn die Signalisierung des wenigstens einen Bezugsobjektes durch eine 
besondere Form erreicht wird. Besonders vorteilhaft sind Bezugsobjekte, die eine geometrische 
Form haben, wie beispielsweise einen Punkt und/oder einen Kreis und/oder ein Dreieck 
und/oder ein Viereck und/oder ein Quadrat. Altemativ oder zusatzlich sind Buchstaben und/oder 
Schriflzuge und/oder Logos als Bezugsobjekte vorteilhaft. Dies tragt zu einer einfachen 
Identifizierbarkeit des wenigstens einen invarianten Musters in den Bildsignalen bei. 

Vorteilhaft ist ferner die Anordnung von Bezugsobjekten zu wenigstens einem 
zweidimensionalen (2D) und/oder wenigstens einem dreidimensionalen (3D) invarianten 
Muster, wobei das Muster eine geometrische Form, wie beispielsweise ein Kreuz und/oder ein 
Kreis und/oder einen Sclniftzug, aufweist. Besonders vorteilhaft ist diese Variante der 
nachfolgend beschriebenen Vorrichtung in Verbindung rnit signalisierten Bezugsobjekten, 
insbesondere mit durch Leuchtmittel, wie Leuchtdioden, signalisierten Bezugsobjekten. Dies 
tragt dazu bei, dass das wenigstens eine invariante Muster durch die Verarbeitungseinheit 
einfach wiedererkannt und gegebenenfalls verschiedene invariante Muster voneinander 
unterschieden werden konnen. 

Besonders vorteilhaft ist, wenn das wenigstens eine Bezugsobjekt auf wenigstens einem 
bezuglich der Uberwachungsfunktion des wenigstens einen Bildsensors relevanten Objelct der 
Szene angebracht ist. Insbesondere bei der Verwendung der Vorrichtung in einem Kraftfahrzeug 
ist es besonders vorteilhaft, wenn sich wenigstens ein bekanntes Bezugsobjekt und/oder ein 
invariantes Muster (Bezugsmuster) auf wenigstens einem fur eine jeweilige Anwendung 
relevanten Objelct, wie beispielsweise der Airbag-Klappe und/oder dem eigentlichen Airbag 



WO 2004/094196 



- 4 - 



PCT7DE2004/000305 



und/oder dem Lenkrad, befindet. Dies ermoglicht die Abstandmessung zwischen wenigstens 
einem oder mehreren dieser relevanten Objekte und anderen, auch nicht signalisierten Objelcten 
im Kraftfahrzeugiimenraum, ohnedass die Lage und Ausrichtung der Sensorik, also des 
wenigstens einen Bildsensors, zu diesem wenigstens einem relevanten Objelct a priori, 
beispielsweise durch Vermessung mit einem weiteren Sensor, bekannt sein muss. 

Vorteilhaft ist ferner, wenn das wenigstens eine invariante Muster alternativ oder zusatzlich 
durch wenigstens ein natiirlich vorkommendes Objekt der Szene gebildet wird. Besonders 
vorteilhaft ist, wenn zum Zweck der Kalibrierung die Lage von bauartbedingt im Kraftfahrzeug 
vorhandenen Objekten in den Bildsignalen iiberwacht und verfolgt wird. Bauartbedingt im 
Kraftfahrzeug vorhandene Objekte sind beispielsweise wenigstens ein Turholm und/oder 
wenigstens eine Annatur und/oder wenigstens ein Himmel des Kraftfahrzeugdaches. 

Vorteilhaft ist die nachfolgend beschriebene Vorrichtung zur Bestirnmung wenigstens eines 
Kalibrierparameters wenigstens eines CMOS-Bildsensors und/oder wenigstens eines CCD- 
Bildsensors und/oder wenigstens eines monokularen Bildsensors und/oder wenigstens einer 
Stereokamera und/oder wenigstens eines tiefenbildgebenden Bildsensors. 

Die vorstehend beschriebenen Vorteile der Vorrichtung gelten entsprechend fur das Verfahren 
zur Bestirnmung wenigstens eines Kalibrierparameters wenigstens eines Bildsensors. 

Besonders vorteilhaft ist ein Computerprogramm mit Programmcodemitteln, um alle Schritte 
oder zumindest die wesentlichen Schritte des nachfolgend beschriebenen Verfahrens 
dmchzuftihren, wenn das Programm auf einem Computer ausgefuhrt wird. Die Verwendung 
eines Computerprogramms ermoglicht die schnelle und kostengunstige Anpassung des 
Verfahrens an unterschiedliche invariante Muster und/oder unterschiedliche Szenen, 
insbesondere unterschiedliche Innenraume von Kraftfahrzeugen. 

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausfuhrungsbeispielen 
mit Bezug auf die Figuren und aus den abhangigen Patentanspriichen. 



Zeichnung 
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Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausfurnungsformen 
naher erlautert. 

Es zeigen: 

- Figur 1 eine Ubersichtszeichnung, 

- Figur 2 ein Blockdiagramm, 

- Figur 3 eine Ubersichtszeichnung des bevorzugten Ausfuhrungsbeispiels, 

- Figur 4 ein Ablaufdiagramm, 

- Figur 5 eine Ubersichtszeichnung eines weiteren Ausfuhrungsbeispiels. 
Beschreibung von Ausfuhrungsbeispielen 

Nachfolgend werden eine Vorrichtung und ein Verfahren zur Uberwachung, Nachfuhrung und 
Bestimmung von wenigstens einem Kalibrierparameter der geornetrischen Kalibrierung von 
wenigstens einem Bildsensor beschrieben, wobei der wenigstens eine Bildsensor derart 
konfiguriert ist, dass er eine in Teilen gleichbleibende Szene uberwacht. In einem 
Ausfuhrungsbeispiel wird der wenigstens eine Bildsensor zur Uberwachung des Innenraumes 
eines ICraftfahrzeuges verwendet. 

Behn Einsatz von Bildsensoren im Rahmen der intelHgenten Airbagsteuerung im 
Fahrzeuginnenraum, insbesondere bei der Klassifikation der Sitzbelegung und/oder der Out-Of- 
Position Detektion, ist die Herstellung einer geornetrischen Lagerelation zwischen Messdaten 
und Fahrzeuginnenraum, also beispielsweise der Karosse und/oder dem Airbagmodul, 
notwendig. Hierzu sind zwei unterschiedliche Vorgehensweisen denkbar. Zum einen ist es 
moglich, durch ein mathematisches Modell exphzit die Messwerterfassung zu beschreiben. Das 
mathematische Modell enthalt numerische Kalibrierparameter, welche die Lage des wenigstens 
einen Bildsensors bezuglich des Kraftfahrzeuges beschreiben (extrinsische Kalibrierparameter 
der extrinsischen Kalibrierung) und/oder numerische Kalibrierparameter, welche die 
Messwerterfassung im wenigstens eine Bildsensor charakterisieren (intrinsischen 
Kalibrierparameter der intrinsischen Kalibrierung). Intrinsische Kalibrierparameter sind 
beispielsweise wenigstens eine Kamerakonstante und/oder wenigstens ein Kamerahauptpunkt 
und/oder wenigstens ein Verzeiclmisparameter. Bei der zweiten Vorgehensweise erfolgt eine 
direlcte Auswertung der Messdaten, beispielsweise iiber einen Klassifikator. Dabei existieren 
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explizit keine numerischen Kalibrierparameter im Gesamtsystera Bildsensor und Auswertung. 
Zur Klassifikation wird in der Verarbeitungseinheit ein lerafabiger Klassifilcator, beispielsweise 
ein neuronales Netz, verwendet. Der Klassifikator wird zunachst trainiert. Hierzu werden mit 
dem Sensor verscbiedene Sitzbelegungen, beispielsweise Sitz leer und/oder Kindersitz, 
aufgenommen und zur Situation manuell die gewollten, korrekten Entscheidung, wie 
beispielsweise Sitz leer, gespeichert. Die Messdaten mit korrekter Entscheidung werden dem 
Klassifikator mitgeteilt, der hieraus Dateri fur die Klassifikation extrabiert (Anlernen des 
neuronalen Netzes). Im spateren Einsatz wird der Klassifikator aus ankommenden Messdaten • 
eine Entscheidung ableiten. Uber die Geometrie und die Kalibrierung weiB der Klassifikator 
nichts. Wenn der Bildsensor seine Lage im Kraftfahrzeug andert, ist nicht sichergestellt, dass 
der Klassifikator ohne erneutes Anlernen korrekte Ergebnisse liefert. Nach Inbetriebnahme 
eines Bildsensors in einem Kraftfahrzeug zur Uberwachung des Innenraumes miissen 
entsprechend der beiden Vorgehensweisen entweder die Kalibrierparameter bekannt sein 
und/oder bestimmt werden oder es werden implizit die Eigenschaften der Messwerterfassung als 
bekannt und uber den Einsatzzeitraum als unveranderlich vorausgesetzt. Diese Eigenschaften 
des wenigstens einen Bildsensors, dass eine explizit und/oder implizit bekannte geometrische 
Lagerelation zwischen den Messdaten und der iiberwachten Szene, insbesondere dem 
Innenraum des Kraftfahrzeuges, besteht, wird als geometrische Kalibrierung des wenigstens 
einen Bildsensors bezeichnet. 



Die nachfolgendbeschriebene Vorrichtung und das Verfahren leisten eine automatische 
Uberwachung und Erkennung von DekaUbrierung, beispielsweise durch Dejustage und/oder 
Anderungen in der Messwerterfassung, des wenigstens einen Bildsensors. Daneben ermoglichen 
die Vorrichtung und das Verfahren die automatische Bestimmung und/oder Nachfuhrung von 
wenigstens einem Kalibrierparameter des wenigstens einen Bildsensors wahrend des 
Sensorbetriebes. Ftir die automatische Uberwachung der DekaUbrierung und die Kalibrierung 
des wenigstens einen Bildsensors wird wenigstens ein spezielles signalisiertes Bezugsobjekt, 
das im bevorzugten Ausfuhrungsbeispiel im Innenraum eines Kraftfahrzeugs angebracht ist, 
und/oder wenigstens ein natiirlich vorkommendes Objekt der Szene, im bevorzugten 
Ausfuhrungsbeispiel wenigstens ein bauartbedingt im Kraftfahrzeug vorhandenes Objekt, als 
Bezugsobjelct verwendet. Die Bezugsobjekte werden mit dem wenigstens einen Bildsensor 
beobachtet. Ferner werden die zu den Bezugsobjekten zugehorigen Messdaten des wenigstens 
einen Bildsensors ausgewertet, indem die Messdaten mit den Solldaten verglichen werden. 
Anliand der Differenz zwischen Messdaten und Solldaten wird die Funktion des wenigstens 
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einen Bildsensors iiberwacht und/oder der wenigstens eine Bildsensor nach Bestimmung 
wenigstens eines Kalibrierparameters kalibriert. 

Figur 1 zeigt eine Ubersichtszeichnung des bevorzugten Ausfxihrungsbeispiels zur Erlauterung 
der Verwendung des Bildsensors 12, der zur Uberwachung des Innenraumes 28 eines 
Kraftfabrzeuges eingesetzt wird. Der Bildsensor 12 ist so im Bereich der Windschutzscheibe 30 
und des Daches 36 des Krafifahrzeuges angebracht, dass der Bilderfassungsbereich des 
Bildsensors 12 den Innenraum 28 des Krafrfahrzeuges erfasst. Dabei nimmt der Bildsensors 12 
den Sitz 38, beispielsweise den Beifahrersirz, und/oder die Kopfstiitze 40 auf. Ferner erfasst der 
Bildsensor 12 gegebenenfalls eine nicht eingezeichnete Person und/oder andere Gegenstande im 
Innenraum 28, insbesondere auf dem Sitz 38. Der Bildsensor 12 ist iiber eine Signalleitung 26 
mit einer Verarbeitungseinheit 14 verbunden. In der Figur 1 ist die Lage 30 des Bildsensors 12 
in Bezug zum Bezugssystem 32 des Kraftfahrzeugs dargestellt. Ferner zeigt die Figur 1 ein 
Airbagmodul 50, das zum Schutz von Personen im Innenraum 28 bei einem Unfall des 
Kraftfabrzeuges eingesetzt wird. 

Figur 2 zeigt ein Blockdiagramm der Figur 1, bestehend aus der zu iiberwachenden Szene 10, 
dem Bildsensor 12 und einer Verarbeitungseinbeit 14. Die zu iiberwacbende Szene 10 ist der 
Innenraum des Kjaftfahrzeuges. Der Bildsensor 12 erzeugt aus der Lichtstrahlung 20 der zu 
tiberwacbenden Szene 10 Bildsignale 22. Die Bildsignale 22 werden als Messdaten iiber die 
Signalleitung 26 nach Figur 1 zur Verarbeitungseinbeit 14 ubertragen. In der 
Verarbeitungseinheit 14 wird zum einen das nachfolgend beschriebene Verfahren zur 
Bestimmung wenigstens eines Kalibrierparameters durchgefuhit Zum anderen findet in der 
Verarbeitungseinheit 14 die Verarbeitung der Bildsignale 22 des Bildsensors 12 start, um die 
Ubewachvmgsfunktion des Bildsensors 12 zu erfullen. Der Bildsensor 12 und die 
Verarbeitungseinheit 14 bilden das Messsystem 16. Im bevorzugten Ausfuhrungsbeispiel wird 
der Bildsensor 12 zur intelligenten Airbagsteuerung eingesetzt. Die Verarbeitungseinheit 14 
wertet die Bildsignale 22 aus, um Signale des Messsystems 24 iiber eine Signalleitung an ein 
nachfolgendes System 18 zur Airbagsteuerung weiterzuleiten. Die Signale des Messsystems 24 
beinhalten Informationen zur Klassifikation der Sitzbelegung und/oder Daten iiber die Out-Of- 
Position Detektion von Personen auf den Sitzen des Kraftfahrzeuges. Die tJbertragung der 
Bildsignale 22 und/oder der Signale des Messsystems 24 auf den Signalleitungen erfolgt 
elektrisch und/oder optisch und/oder per Funk. In einer Variante des bevorzugten 
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Ausfuhrungsbeispiels ist der Bildsensor 12 und/oder die Verarbeitungseinheit 14 und/oder das 
nachfolgende System 18 in einer oder gegebenenfalls mehreren Einheiten realisiert. 

Figur 3 zeigt eine Ubersichtszeichnung des bevorzugten Ausfiihrungsbeispiels mit einer 
Vorrichtung zur Besthmnung wenigstens eines Kalibrierparameters des Bildsensors 12. Figur 3 
ist eine Erweiterung der Figur 1 . Im folgenden werden nur die zusatzlichen Teile der Figur 3 
erlautert. Im Ihnenraum 28 des Kraftfalirzeuges werden speziell signalisierte Objelcte 42 so 
eingebracht, dass sie im Bilderfassungsbereich des Bildsensors sind. Signalisierte Objekte 42 
sind Objekte, die sich mit dem jeweiligen Sensorsystem, im bevorzugten Ausfuhrungsbeispiel 
dem Bildsensor 12, gut automatisch detektieren lassen. Im bevorzugten Ausfuhrungsbeispiel 
werden mfrarot-Leuchtdioden (TR-Leuchtdioden) eingesetzt. Die Position der signalisierten 
Objelcte 42 in den Messdaten (Bildsignale) des Bildsensors 12 (Videosensor) werden mit der 
Sollposition der signalisierten Objelcte 42 in der Verarbeitungseinheit 14 verglichen. Bei 
Abweichungen wird eine Dekalibrierung erkannt Ferner wird die Position der signalisierten 
Objelcte 42 in den Sensormessdaten zur Nachfiihrung und/oder Bestimmung von wenigstens 
einem Kalibrierparameter eingesetzt. In einer Variante des bevorzugten Ausfuhrungsbeispiels 
werden als signalisierte Bezugsobjekte 42 Bezugsobjelcte mit Oberflachen mit hoher 
Reflektivitat verwendet. Vorzugsweise werden signalisierte Bezugsobjekte 42 mit einer 
Reflelctivitat zwischen 0,5 und 1,0 eingesetzt. Die Synonyme Reflelctivitat, Ruckstrahlvermogen 
und Albedo geben den Anteil der auf eine Oberflache einfallenden Strahlung an, die 
zuriickgestrahlt wird. Der Wert der Reflektivitat kann Werte zwischen 0 bis 1 annehmen, wobei 
ein Wert von 1 bedeutet, dass 100% der einfallenden Strahlung zuriickgestrahlt wird. Zusatzlich 
weisen die Bezugsobjelcte gegebenenfalls eine geometrische Form auf. Als geometrische 
Formen werden beispielsweise wenigstens ein Punkt und/oder wenigstens ein Kreis und/oder 
wenigstens ein Dreieck und/oder wenigstens ein Viereck und/oder wenigstens ein Quadrat 
verwendet. Alternativ oder zusatzlich zu der geometrischen Form werden in weiteren Varianten 
als Bezugsobjekte wenigstens ein Buchstabe und/oder wenigstens ein Schriftzug und/oder 
wenigstens ein Logo verwendet. In einer weiteren Variante sind mehrere Bezugsobjekte 
alternativ oder zusatzlich zu einem 2D- oder 3D-Muster, beispielsweise wenigstens einem 
Kreuz und/oder wenigstens einem Kreis und/oder wenigstens einem Schriftzug, angeordnet. 
Ferner sind die Bezugsobjekte und/oder die Muster alternativ oder zusatzlich auf wenigstens 
einem fur die jeweilige Anwendung relevanten Objekt, beispielsweise der Airbag-Klappe 
und/oder dem eigentlichen Airbag und/oder dem Lenkrad, angebracht. Die Verarbeitungseinheit 
14 umfasst wenigstens einen Mikroprozessor und besteht aus mehreren in Figur 4 dargestellten 
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Modulen, die als Programme und/oder Programmschritte des wenigstens einen Mikroprozessors 



Figur 4 zeigt ein Ablaufdiagramm des Verfahrens des bevorzugten Ausffihrungsbeispiels zur 
automatischen Kontrolle und/oder Nachfuhrung und/oder Bestimmung wenigstens eines 
Kalibrierparameters der geometrischen Kalibrierung des wenigstens einen Bildsensors. Das 
Verfahren setzt Modellwissen 60 iiber die geometrische Lage von Bezugsobjekten im 
Innenraum des Kraftfabrzeuges und/oder iiber die Sollwerte 64 der Messdaten des wenigstens 
einen Bildsensors der Bezugsobjekte des Innenraumes des Kraftfabrzeuges voraus. Wabrend 
des Einsatzes (Betrieb) werden die zu den bekannten Bezugsobjekten zugehorigen 
Sensormessdaten in Form von Bildsignalen 22 durch den Bildsensor 12 detektiert. Die 
Sensormessdaten (Bildsignale 22) der Bezugsobjekte werden mit den Solldaten 64 im Modul 
zur Differenzbildung 66 verglichen und hieraus im Modul zur Bestimmung der Kalibrierdaten 
68 eine Dekalibrierung des Bildsensors erkannt und/oder es werden aus den Sensormessdaten 
(Bildsignale 22) der Bezugsobjekte wenigstens ein Kalibrierparameter fiber ein mathematisches 
Modell der Bildsensorabbildung bestimmt. Im Ejaftfalirzeug-Irmemaum sei ein euklidisches 
Koordinatensystem (Falirzeugkoordinatensystem) definiert. Es gibt im Fabrzeug-Innemaum 
punlctfdrrnige Bezugsobjekte P; (i=l..N) mit bekannten 3D-Koordinaten (xi, yi, zi). Weiterhin 
ist die Solllage eines Bildsensors im 3D-Fabrzeugkoordinatensystem (extrinsische 
Kalibrierparameter) gegeben. Die Solllage besteht aus 6 Parametern, der Position des 
Projektionszentrums des Bildsensors im Kraftahrzeug: (tx, ty, tz) und der Rotation zwischen 
Kraftfahrzeug und Bildsensor, die mit den Drehwinkeln a, \|/, y, angegeben wird. Aus den 
Drehwinkeln ergibt sicb die Rotationsmatrix 

fli r n O ( cosmos/ cos^siny -sinyf \ 

R= r M r n r n = sin a sin cos f- cos a sin y sin a sin y sin / + cos a cos y sinacosjf 

I'm r 3i r ti) \^cosasin^cos/+sinasin^ cos a sin y/ sin /-sin a cos/ cosacos^J 
Weiterhin sind die intrinsische Kalibrierparameter, die Kammerkonstanten c*, Cy und die 
Koordinaten des Bildhauptpunktes Xh, y H bekannt. Die Projektion der 3D-Koordinaten (xi, y b z,) 
der Punktobjekte in das Bild, in die Bildkoordinaten (x';, y'O lasst sich mathematisch 
beschreiben mit: 
, = r ll (x l -t x ) + r 13 (y l -t y ) + r a (z l -t z ) ^ , 

X ' Cx r 3X (x t -t x )+r 32 (y,-t y )+rn(z t -t t ) (2) 
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Ergebnis sind Sollkoordinaten x' 5i , y'^ der punldformigen Bezugsobjekte im Bild. Die Messung 
der punktformigen Bezugsobjekte im Bild liefert die BUdkoordinaten x' m y'ni.. Die Distanz 
zwischen Solllage und Istlage 

wird fflr die Erkennung der Dekalibrierung des Sensorsystems verwendet. Wenn Distanzen iiber 
einer vorgegebenen Scliwelle liegen (dMsi^MSmax) dann liegt eine Dekalibrierung des 
Bildsensors vor. Fur eine Korrelctur der extrinsischen Kalibrierparameter (a, y, tx, ty, tz) des 
Bildsensors werden die Parameter (a, y, tx, ty, tz) variiert, so dass die Fehlerquadratsumme 
zwischen gemessenen Bildkoordinaten und projizierten Bildkoordinaten minimal wird: 
Yteu-^eWJtxJtMM&it + {y'si-y'ia^r^tyM^z,)} min (4) 

Die Bildkoordinaten x'(a, V, y, tx, ty, tz) bzw. y'(a, \|/, y, tx, ty, tz) ergeben sich aus der obigen 
Projektionsvorschrift (2). 

Figur 5 zeigt eine Ubersichtszeichnung ernes weiteren Ausfuhrungsbeispiels mit einer 
Vorrichtung zur Bestimmung wenigstens eines Kalibrierparameters des Bildsensors 12. Figur 5 
ist eine Erweiterung der Figur 1. Im folgenden werden nur die zusatzlichen Teile der Figur 5 
erlautert. Zum Zweck der Uberwachung einer Dekalibrierung und/oder zur Bestimmung 
wenigstens eines Kalibrierparameters der geometrischen Kalibrierung werden in diesem 
Ausfuhrungsbeispiel die Lage von bauartbedingt im Krafrfahrzeug vorhandenen Objekten in 
den Sensormessdaten uberwacht und verfolgt. Die bauartbedingt im Krafrfahrzeug vorhandenen 
Objekte, wie der Turholm 44 und/oder der Himmel des Fahrzeugdaches 46 und/oder die 
Armatur 48, werden als Bezugsobjekte verwendet, wobei deren Lage in Abhangigkeit der 
Bildsignale des Bildsensors 12 vermessen und kontrolliert wird. Die Verarbeitungseinheit 14 
umfasst wie im bevorzugten Ausfuhrungsbeispiel nach Figur 3 wenigstens einen 
Mikroprozessor und besteht aus mehreren in Figur 4 dargestellten Modulen, die als Programme 
und/oder Programmschritte des wenigstens einen Mikroprozessors ausgestaltet sind. In einer 
weiteren Ausfuhrungsform werden als Bezugsobjelcte sowohl wenigstens ein zur Bestimmung 
des wenigstens einen Kalibrierparameters in der Szene angebrachtes Bezugsobjekt (ein 
signalisierendes Bezugsobjekt) und wenigstens ein natiirlich vorkommendes Objelct der Szene, 
also ein bauartbedingt im Innenraum des Kjaftfahrzeuges befindliches Objekt, verwendet. 
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Die beschriebene Vorrichtung und das Verfahren zur Bestimmung wenigstens eines 
Kalibrierparameters wenigstens eines Bildsensors, sind nicht auf den Einsatz in der 
Kraftfahrzeugtechnik beschrankt. Vielmehr lasst sich die beschriebene Vorgehensweise mit den 
entsprechenden Merkmalen auch auBerhalb der Kjaftfahrzeugtecbnik einsetzen. Voraussetzung 
ist lediglich, dass wenigstens ein Bildsensor derart konfiguriert ist, dass der wenigstens eine 
Bildsensor zur Uberwachung einer in Teilen gleichbleibenden Szene geeignet ist. Eine in Teilen 
gleichbleibende Szene zeichnet sich dadurch aus, dass die Teile der Szene zeitlich 
unveranderlich sind. Solche Szenen treten beispielsweise in der Uberwachungstechnik und der 
Sicherheitstechnik auf. Bei der Uberwachung von Flughafen, Bahnhofen oder StraBen ist die 
Szene ebenfalls in Teilen gleichbleibend. Ein anderer Anwendungsfall ist die Uberwachung 
eines Raumes, beispielsweise eines Tresorraumes einer Bank, mit wenigstens einem Bildsensor. 
Auch diese Szenen sind in Teilen gleichbleibend. Ferner lasst sich das Verfahren bei wenigstens 
einem Bildsensor verwenden, der zur Uberwachung der Umgebung eines Kraftfahrzeuges 
eingesetzt wird. Voraussetzung ist auch hier, dass Teile der Szene zeitlich unveranderlich sind. 
Zeitlich unveranderliche Teile liegen dann vor, wenn Bestandteile des Kraftfahrzeuges, 
beispielsweise die Motorhaube und/oder die StoBstange, hn Bilderfassungsbereich des 
wenigstens einen Bildsensors hegen. 

In einer Variante der beschriebenen Vorrichtung und des Verfahrens ist wenigstens ein 
Bezugsobjekt auf wenigstens einem bezuglich der Uberwachungsfunktion des wenigstens einen 
Bildsensors relevanten Objekt der Szene angebracht. Relevante Objekte zeichnen sich dadurch 
aus, dass sie entweder direkt das Objekt der Uberwachungsfunktion des wenigstens einen 
Bildsensors 12 sind oder alternativ oder zusatzlich indirekt funktional mit der 
Uberwachungsfunktion des Bildsensors verbunden sind. Im Bereich der Rrafrfahrzeugtechnilc 
sind die Airbagldappe ein Beispiel fur ein relevantes Objekt, das indirekt funktional mit der 
Ubemachungsfunktion des Bildsensors verbunden ist. Obwohl der Bildsensor primar zur 
Uberwachung der Belegungssituation der Sitze verwendet wird, ist die Uberwachungsfunktion 
funktional iiber die Airbagsteuerung mit der Airbag-Klappe verbunden. Im Bereich der 
Sicherheitstechnik, beispielsweise bei der Uberwachung ernes Tresorraumes einer Bank, ist der 
Tresor der Bank direlct das relevante Objekt der Uberwachungsfunktion des wenigstens einen 
Bildsensors. 

Die vorstehend beschriebene Vorrichtung und das Verfahren werden in weiteren Varianten bei 
wenigstens einem oder mehr als einem Bildsensor angewendet. Als Bildsensoren wird 
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wenigstens ein monokularer Bildsensor und/oder wenigstens eine Stereokamera und/oder 
wenigstens ein tiefenbildgebender Bildsensor verwendet. Stereokameras bestehen aus 
wenigstens zwei Bildsensoren, die im wesentlichen dieselbe Szene aufhehrnen. 
Tiefenbildgebende Bildsensoren sind Entfernungsbild-Sensor, beispielsweise Time-of-FIight 
optische Sensoren (range video camera). 
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Patentanspriiche 

1 . Vorrichtung zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines 
Bildsensors, 

- wobei der wenigstens eine Bildsensor eine in Teilen gleichbleibende Szene, 
insbesondere den Innenraumes eines Kraftfabizeuges, iiberwacht, 

- wobei wenigstens eine Verarbeitungseinheit in Abhangigkeit von Bildsignalen eine 
Dekalibrierung des wenigstens einen Bildsensors im Betrieb des wenigstens einen 
Bildsensors erkennt, 

- wobei die wenigstens eine Verarbeitungseinheit bei einer erkannten Dekalibrierung die 
Dekalibrierung einem nachfolgenden System und/oder dem Fahrer 1 meldet, und/oder den 
wenigstens einen Kalibrierparameter in Abhangigkeit von den Bildsignalen bestimmt, 

- wobei der wenigstens eine Bildsensor die Bildsignale zumindest von wenigstens einem 
invarianten Muster im Bilderfassungsbereich des wenigstens einen Bildsensors ableitet 

2. Vorrichtung nach Anspruch 1 5 dadurch gekennzeichnet, dass das wenigstens eine invariante 
Muster durch wenigstens ein zur Bestimmung des wenigstens einen Kalibrierparameters in 
der Szene angebrachtes Bezugsobjekt gebildet whd. 



3 . Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das wenigstens eine 

Bezugsobjekt ein Leuchtmittel ist, insbesondere dass das wenigstens eine Bezugsobjekt eine 
Inrrarot-Leuchtdiode ist, und/oder dass das wenigstens eine Bezugsobjekt derart gestaltet 
ist, dass es eine hohe Reflektivitat aufweist, insbesondere, dass es eine Reflektivitat 
zwischen 0,5 und 1,0 aufweist. 
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4. Vorrichtung nach einem der Anspruche 2 bis 3, dadurch gekennzeichnet, dass das 
wenigstens eine Bezugsobjekt erne geometrische Form hat, beispielsweise ein Punkt 
und/oder ein Kreis und/oder ein Dreieck und/oder ein Viereck und/oder ein Quadrat, 
und/oder dass das wenigstens eine Bezugsobjekt wenigstens ein Buchstabe und/oder 
wenigstens ein Schriftzug und/oder wenigstens ein Logo ist 

5. Vorrichtung nach einem der Anspruche 2 bis 4, dadurch gekennzeichnet, dass das 
wenigstens eine Bezugsobjekt auf wenigstens einem bezuglich der Uberwachungsfimktion 
des wenigstens einen Bildsensors relevanten Objekt der Szene angebracht ist, insbesondere, 
dass das wenigstens eine Bezugsobjekt auf wenigstens einer Airbag-ICIappe und/oder 
wenigstens einem Airbag und/oder wenigstens einem Lenkrad im Innenraum des 
Kjafrfahrzeuges angebracht ist. 

6. Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass das 
wenigstens eine invariante Muster durch wenigstens ein naturlich vorkommendes Objekt 
der Szene gebildet wird, insbesondere, dass das wenigstens eine invariante Muster durch 
wenigstens ein bauartbedingt im Innenraum eines Kraftfahrzeug befindliches Objekt 
gebildet Wird. 

7. Verfahren zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines 
Bildsensors, 

- wobei der wenigstens eine Bildsensor eine in Teilen gleichbleibende Szene, 
insbesondere den Innenraumes ernes Kraftfahrzeuges, iiberwacht, 

- wobei eine Dekalibrierung des wenigstens einen Bildsensors wahrend des Betriebes des 
wenigstens einen Bildsensors in Abhangigkeit von Bildsignalen erkannt wird, 

wobei bei einer erkannten Dekalibrierung die Dekalibrierung einem nachfolgenden 
System und/oder dem Fahrer gemeldet wird, und/oder der wenigstens eine 
Kalibrierparameter in Abhangigkeit von den Bildsignalen bestimmt wird, 

- wobei die Bildsignale zurnindest von wenigstens einem invarianten Muster im 
Bilderfassungsbereich des wenigstens einen Bildsensors von dem wenigstens einen 
Bildsensor abgeleitet werden. 

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Bildsignale zurnindest von 
wenigstens einem zur Bestimmung des wenigstens einen Kalibrierparameters in der Szene 
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angebrachten Bezugsobjekt und/oder zumindest wenigstens einem natiirlich vorkommenden 
Objelctes der Szene abgeleitet werden, wobei das wenigstens eine Bezugsobjekt 
insbesondere ek Leuchtmittel ist und/oder das wenigstens eine Bezugsobjekt eine hohe 
Reflektivitat aufweist. 

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Bildsignale von zumindest 
wenigstens einem Bezugsobjektes abgeleitet werden, wobei das wenigstens eine 
Bezugsobjekt auf einem beziiglich der Ubemachungsfunktion des wenigstens einen 
Bildsensors relevanten Objekt der Szene angebracht ist, insbesondere, dass das wenigstens 
eine Bezugsobjekt auf wenigstens einer Airbag-Klappe und/oder wenigstens einem Airbag 
und/oder wenigstens einem Lenkrad im Iimenraum des Kraftfahrzeuges angebracht ist. 



10. Computerprogramm mit Programmcode-Mitteln, um alle Schritte von jedem beliebigen der 
Ansprttche 7 bis 9 durchzufubren, wenn das Programm auf einem Computer ausgeftthrt 
wird. 
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